Sinh ra ở Thiès, Babacar bắt đầu sự nghiệp của mình trong học viện US Rail ở quê nhà. Hai năm sau, anh 14 tuổi chuyển đến Ý và ký hợp đồng với câu lạc bộ Delfino Pescara 1936.

Tháng 7 năm 2008, Babacar ký hợp đồng với câu lạc bộ trong nước tại giải Serie A là ACF Fiorentina. Anh bắt đầu chơi ở đội hình đầu tiên của Fiorentina, dẫn dắt bởi HLV Cesare Prandelli.

Ngày 14 tháng 1, năm 2010, ở tuổi 16 Babacar ra mắt chính thức cho Viola, trong trận đấu với Chievo ở mùa giải Coppa Italia với pha ghi bàn gỡ hòa 2-2 trong phút 75'. Ngày 20 tháng 3, anh ghi bàn thắng đầu tiên tại giải đấu đầu cho câu lạc bộ trong trận đấu với Genoa.